网格细胞竟会“趋利避害”？主流假说面临挑战！

Original 杨金水集智俱乐部 2021-02-24

在环境中引入奖励机制后，网格细胞“难抵诱惑”，会朝向奖赏位置方向显著偏移，从而重新绘制大脑导航地图。| ©Quantamagazine

导语

大脑内部存在一个内置定位系统（inner GPS）,帮助我们编码位置和方向，指引我们寻找目标，规划路线。由位置细胞和网格细胞构成的神经回路正是空间感的神经基础。近期发表在Science的两篇研究论文发现，当环境中加入奖励之后，网格细胞的激活模式会发生显著变化，也就是说，我们的大脑将重新绘制内置地图以适应加入奖赏之后的环境。

空间导航研究简史

我们如何构建空间意识？这个问题困扰了哲学家长达数十个世纪。近几十年来，脑科学的研究为这个古老的命题注入了新的活力。

认知地图假说

19世纪40年代，心理学家Tolman首次提出“认知地图假说”(1)。训练老鼠在迷宫中觅食后，他发现老鼠能够识别之前从未走过的捷径来获取食物。因此，他提出老鼠在探索环境过程中能够发现位置之间的相对关系，并逐渐形成环境的“认知地图”。这种内在表征是动物规划捷径、灵活导航的基础。

如图所示，Tolman认为老鼠通过对环境的观察可以在大脑中建立一个类似的地图表征。

老鼠通过对环境的观察可以在大脑中建立一个类似的地图表征。

“认知地图”假说挑战了当时盛行的“条件反射”假说。“条件反射”假说认为复杂行为可以解构为一系列简单的“条件-刺激”链条。由于技术手段的限制，当时还无法探测大脑的神经信号，所以两种假说一直争论不下。

位置细胞

1971年，John O Keefe训练老鼠完成导航任务并通过电极直接记录了大脑海马区的神经元活动。他首次观察到，在老鼠经过某个特定位置时，某些神经元会被激活。

如下图所示，灰线代表了老鼠在正方形环境中的运动轨迹，红点代表一个细胞的激活位置。该位置细胞总是在老鼠经过环境的中间偏右上角时激活。他把这种针对位置特异性放电的神经元命名为位置细胞(2)，把位置细胞激活的位置称为该细胞的位置野。

位置细胞

O Keefe提出，位置细胞的集群活动模式能够编码整个环境中的所有位置，也就是说，它们共同形成了环境的内在表征。他猜测，这正是“认知地图”的神经基础。然而，只依靠位置细胞，动物无法成功导航。空间导航还需要一套米制系统来帮助动物测量距离。该功能由谁来完成？这个问题指向对海马区有投射的脑区——嗅皮层。

从位置细胞到网格细胞　

2004年，Edvard I. moser和May-Britt Moser实验室把电极植入内侧内嗅皮层，监测神经元在老鼠完成迷宫任务时的激活模式。实验发现，这些细胞也会在动物处于特定位置时激活。但是，与位置细胞显著不同的是，它在多个位置时都会放电。换句话说，这些细胞对多个位置时都会有反应。

2005年，他们把实验环境扩大后，重复上述实验，最终导致了震惊整个神经科学界的发现——网格细胞。环境扩大，神经元的的放电模式更加清晰可见。

如下图所示，灰线代表了老鼠的运动轨迹，红点代表一个细胞的激活位置。该细胞在老鼠经过多个位置时均会激活，并且引起一个内嗅细胞放电的多个位置形成正三角形的顶点。这些顶点在环境中平铺开来，看上去像是形成了一个个分开的网格单元——因此被命名为网格细胞(3)，这些放电位置被称为网格细胞的网格野。由于这种特殊的放电模式，网格细胞被认为是大脑的空间米制系统(4)。

网格细胞

为了记忆环境并使用这些信息完成空间活动，我们需要对多种形式的感觉信息进行整合，是一项复杂的认知功能。John O Keefe、Edvard I. moser和May-Britt Moser的发现帮助我们更深入理解大脑如何处理复杂的认知功能。

2014年三位科学家被授予了诺贝尔生理学或医学奖(5)。

三位科学家因发现位置细胞、网格细胞而被授予2014年诺贝尔生理学奖。©cellcode.us

诺奖评语高度评价了三位科学家的工作：“三位科学家的发现解答了一个困扰哲学家和科学家们长达数个世纪的谜团——大脑究竟如何创建一个有关周围空间位置的地图？我们又究竟如何能够在复杂的环境中找到方向？”，“三位科学家所做的，便是从脑科学与神经科学的角度，向着解答这个困扰人类已久的古老谜题迈出了重要一步。”

奖励调制

上文中提到，网格细胞一直被视为大脑的空间米制系统，也就是说，网格模式只对空间进行编码，并忽略环境中的其他因素。这就像我们的地图app对空间编码模式，每次你掏出手机，查询一个特定地址的时候，你得到的坐标将永远不变。坐标不依赖于你当时的心情是高兴还是悲伤，你当时是饥饿还是酒足饭饱。科学家们一直以为大脑的内置定位系统也是按照这种模式处理空间信息。

在本期Science上的两篇文章研究了在环境中引入奖励后是否对网格细胞的激活模式有影响，研究问题概括如图：老鼠在环境中观察到奖励之后，网格细胞的正三角形模式是否会发生变化。

研究问题：在环境中观察到奖励之后，老鼠网格细胞的正三角形模式会发生变化吗？

两篇文章均发现奖赏位置能够显著调制网格细胞的发放模式(6, 7)。也就是说，当环境中加入奖励之后，我们将重新绘制内置地图以适应加入奖赏之后的环境。这个发现对该 "网格细胞作为大脑的空间米制系统“ 假说发起了强有力的挑战。

论文题目：
C. N. Boccara, M. Nardin, F. Stella, J. O’Neill, J. Csicsvari, The entorhinal cognitive map is attracted to goals. Science. 363, 1443–1447 (2019).
论文地址：
http://science.sciencemag.org/content/363/6434/1443?intcmp=trendmd-sci

论文题目：
W. N. Butler, K. Hardcastle, L. M. Giocomo, Remembered reward locations restructure entorhinal spatial maps. Science. 363, 1447–1452 (2019).
论文地址：
http://science.sciencemag.org/content/363/6434/1447

在Boccara等人设计的圆形环境中，3个位置设置了巧克力，老鼠一旦到达这些位置，将得到奖励。第一天，老鼠在圆形环境中自由活动，但不设置奖励。紧接着，老鼠接受训练，寻找奖励，学习3个目标位置（下图中黑点）。最后，撤去奖励，再让老鼠自由活动。

下图画出了网格细胞在第一天老鼠自由活动时的网格野位置（蓝色圆圈）以及最后一天老鼠自由活动时的网格野位置（红色圆圈）。比较圆圈的位置，研究发现它们并不重叠——并且网格野向奖赏位置方向发生了偏移（红色圆圈比蓝色圆圈更接近黑点）。

比较网格细胞在第一天老鼠自由活动时的网格野位置（蓝色圆圈）和最后一天老鼠自由活动时的网格野位置（红色圆圈）发现，网格野超奖励方向发生偏移。

Boccara进一步分析了所有网格细胞的发放野与目标奖励之间距离的分布。下图中蓝色曲线代表前期自由活动情况。红线曲线代表后期自由活动情况。统计发现两个分布之间存在显著差异，也就是说，后期自由活动情况下，发放野向奖赏位置发生了显著偏移。

蓝色曲线代表前期自由活动情况。红线曲线代表后期自由活动情况。统计发现两个分布之间存在显著差异。

从数量上看，该研究还发现超过90%的网格野向着奖赏位置方向发生了偏移。并且这种偏移在越靠近奖赏位置尤为明显。网格细胞规则的正三角形模式将变得不再完美。

环境中加入奖励后，网格细胞的激活位置（图中的正三角形顶点）将被目标吸引，并朝着它发生显著的偏移。 | ©Quantamagazine

Butler等人使用完全不同的实验范式研究了类似的问题。他们启用了两个环境探讨奖赏如何影响网格细胞的激活。在环境一中，大鼠搜寻随机播撒的食物，这也是研究空间导航的传统实验范式。在环境二中，大鼠搜寻隐藏在特定位置的食物。研究发现网格细胞的放电模式在两个环境中发生了明显的变化。网格细胞的网格野之间的间距（正三角形的边长）在环境二中明显小于环境一。这可能的解释是减少网格野间距可以帮助老鼠获得更高的空间分辨率。

下图左展示了网格细胞在环境一和环境二中的发放模式热图。网格野在环境二中固定的目标奖励地点（红框）附近发放强度更高。他们进一步所有网格细胞的发放强度与发放野到目标奖励距离之间的关系。

统计结果如右图所示，红色曲线代表了环境二的情形，蓝色曲线代表了环境一的情形。统计发现两种环境中，发放强度的差异是显著的。

网格细胞在环境一和环境二中的发放模式

研究还发现越靠近目标位置的网格野，发放率越高，这与上述文章中的发现一致。训练一个分类器使用网格细胞的放电模式对空间位置进行解码，研究发现环境二中越靠近目标奖赏的位置，解码精度越高。这意味着老鼠对空间每个部分的表征并不均匀，越靠近目标奖励的位置，空间分辨率越高，这能帮助老鼠在寻找食物时更加高效。

网格细胞新征程

以上研究更新了我们对网格细胞功能的理解——它不仅仅只是空间的神经表征，还能参与表征与位置存在的某些关联（例如奖励）。或者某种意义上说，网格细胞是联结记忆的神经表征。这两篇文章开拓了空间导航研究的疆域。

未来可以继续探讨惩罚如何影响位置细胞和网格细胞的激活模式；各种不同的动机如何调制我们的内置地图——哪些线索能够驱动大脑去绘制一副全新的地图，哪些线索只是让我们在原来的内置地图表征上修修补补。

位置细胞、头向细胞和网格细胞在老鼠脑区的分布 | ©cacm.acm.org

更广泛意义上讲，揭开网格细胞的空间编码机制，将上述研究成果融入到人工智能的研究中，对研发自主导航设备和更智能的神经网络模型，开发新一代人工智能机器人具有重大意义。

目前基于深度学习的人工智能热潮正在席卷全球，然而智能导航设备（如无人机、自动驾驶）还面临严峻挑战。近年来，网格细胞的研究为研究智能导航新技术提供了重要灵感。基于大脑导航神经机理启发的自主导航技术——“类脑认知导航”正在兴起。

智能体“抄近路”

去年DeepMind在Nature上发表的一篇论文在人工智能领域和神经科学领域都激起了热烈的讨论：深度学习展现出与网格细胞高度一致的模式，并达到了超强的空间导航能力(8)。

人工智能助力神经科学：DeepMind 复现大脑空间导航方式！

该研究训练一个循环神经网络执行虚拟环境中自我定位任务。该网络的输入是智能体的速度信号，输出是预测智能体当前的位置。研究发现，类似网格细胞的表征在网络的隐含层中自发地涌现。继续使用深度强化学习技术训练该“网格网络”在更加复杂的虚拟现实游戏环境中进行导航。研究发现智能体表现超过了专业玩家的能力，展现出灵活的导航方式，甚至学会了“抄近路”。当网络中的网格单元被拿掉后，智能体的导航能力就会受损，而且对目标的距离和方向的判断变得不准确。

高阶决策与认知功能

未来的研究可以继续探讨加入奖励之后，如何影响循环神经网络的隐含层表征，这种改变对导航是否更有帮助。近期的研究发现网格细胞还可以编码声音频率、视觉空间、概念空间，表明网格细胞能够支持更加复杂的决策和认知功能(9)。未来的研究可以探索智能体在抽象空间中的导航（例如互联网网页之间的跳转）如何借鉴网格细胞的研究成果。

想法的几何学：大脑如何构建内在的意义宇宙？
《On Intelligence》作者Jeff Hawkins首提“千脑智能理论”，破解皮层网格细胞谜题

认知导航作为一种新兴的智能导航技术，在智能导航领域具有非常大的发展潜力。随着神经科学家对网格细胞表征机制的持续深入研究，以及计算机科学家们对导航技术的持续探索和应用实践，类脑认知导航技术将会发展越来越成熟。

研究意义

综上，两个新研究发现网格细胞不仅仅只参与绝对空间的表征，还能参与表征与位置存在的关联奖励。这些结果表明网格细胞能够支持更加复杂的记忆活动，这是认知神经科学具有重要意义的新发现，为我们解开“智能”之谜开启了新方向。

参考文献

1. G. Buzsáki, R. Llinás, Space and time in the brain. Science. 358, 482–485 (2017).

2. J. O’Keefe, J. Dostrovsky, The hippocampus as a spatial map. Preliminary evidence from unit activity in the freely-moving rat. Brain Research. 34, 171–175 (1971).

3. T. Hafting, M. Fyhn, S. Molden, M.-B. Moser, E. I. Moser, Microstructure of a spatial map in the entorhinal cortex. Nature. 436, 801–806 (2005).

4. B. L. McNaughton, F. P. Battaglia, O. Jensen, E. I. Moser, M.-B. Moser, Path integration and the neural basis of the “cognitive map.” Nature Reviews Neuroscience. 7, 663–678 (2006).

5. N. Burgess, The 2014 Nobel Prize in Physiology or Medicine: A Spatial Model for Cognitive Neuroscience. Neuron. 84, 1120–1125 (2014).

6. C. N. Boccara, M. Nardin, F. Stella, J. O’Neill, J. Csicsvari, The entorhinal cognitive map is attracted to goals. Science. 363, 1443–1447 (2019).

7. W. N. Butler, K. Hardcastle, L. M. Giocomo, Remembered reward locations restructure entorhinal spatial maps. Science. 363, 1447–1452 (2019).

8. A. Banino et al., Vector-based navigation using grid-like representations in artificial agents. Nature, 1 (2018).

9. J. L. S. Bellmund, P. Gärdenfors, E. I. Moser, C. F. Doeller, Navigating cognition: Spatial codes for human thinking. Science. 362, eaat6766 (2018).